Ông nhập ngũ vào giai đoạn cuối Chiến tranh Việt Nam và được biên chế vào Sư đoàn 341, Quân đội nhân dân Việt Nam (còn gọi là Đoàn Sông Lam) Quân khu 4 mới thành lập trước đó không lâu tại Nghệ An. Sau đó, ông cùng đơn vị tham chiến trong chiến dịch Hồ Chí Minh sau đó là Chiến tranh biên giới Tây Nam, đi lên từ chiến sĩ lên chức vụ Chính trị viên Tiểu đoàn.

Tháng 01/1972 – 7/1973: Chiến sĩ, Tiểu đội phó, Tiểu đoàn 14, Sư đoàn 320, Sư đoàn 308.

Tháng 8/1973 – 10/1974: Tiểu đội trưởng, Tiểu đoàn 14, Trung đoàn 55, Sư đoàn 341, Quân khu 4.

Tháng 11/1974 – 10/1978: Trung đội trưởng, Chính trị viên phó, Chính trị viên Đại đội, Đảng ủy viên Đảng ủy Tiểu đoàn 14, Trung đoàn 55, Sư đoàn 341, Quân khu 4.

Tháng 11/1978 – 3/1981: Trợ lý Tổ chức, Phòng Chính trị, Sư đoàn 341, Quân khu 4.

Tháng 4/1981 – 8/1982: Thượng úy, Học viên Trung cấp Trường Quân chính, Quân khu 4. Học viên Trường Văn hoá Quân đội.

Tháng 9/1982 – 7/1985: Học viên Học viện Chính trị - Quân sự.

Tháng 8/1985 – 7/1987: Phó Chủ nhiệm Chính trị, Phó Chính ủy, Bí thư Đảng ủy Trung đoàn, Trung đoàn 667, Trung đoàn 779, Sư đoàn 346, Quân đoàn 26, Quân khu 1. Đảng ủy viên Đảng ủy Quân sự tỉnh Cao Bằng.

Tháng 8/1987 – 01/1988: Bí thư Đảng ủy Trung đoàn, Phó Chính ủy Trung đoàn 462, Sư đoàn 392, Quân khu 1.

Tháng 02/1988 – 8/1994: Trợ lý Cục Tổ chức, Tổng cục Chính trị. Học viên Học viện Quốc phòng Việt Nam.

Tháng 9/1994 – 10/2000: Phó phòng, Trưởng phòng Công tác Chính trị rồi Cục phó Cục Tổ chức, Tổng cục Chính trị. Học viên hoàn thiện cử nhân tại Học viện Chính trị - Quân sự (1995 – 1996).

Tháng 11/2000 – 4/2003: Phó Bí thư Đảng ủy, Cục trưởng Cục Chính sách, Tổng cục Chính trị.

Tháng 5/2003 – 11/2004: Ủy viên Thường vụ Đảng ủy, Chủ nhiệm Chính trị Quân khu 3.

Tháng 12/2004 – 3/2006: Bí thư Đảng ủy, Phó Chính ủy Quân khu 3.

Tháng 4/2006 – 11/2007: Ủy viên Đảng ủy Quân sự Trung ương, Bí thư Đảng ủy, Chính ủy Quân khu 3. Học lớp nghiên cứu cán bộ cao cấp tại Học viện Chính trị Quốc gia Hồ Chí Minh (2006).

Tháng 12/2007 – 01/2011: Phó Chủ nhiệm Tổng cục Chính trị.

Tháng 01/2011 – 02/2011: Phó Chủ nhiệm Tổng cục Chính trị. Ủy viên Thường vụ Quân ủy Trung ương.

Tháng 02/2011 – 4/2016: Ủy viên Thường vụ Quân ủy Trung ương. Chủ nhiệm Tổng cục Chính trị.

Tháng 9/4/2016: Tại kỳ họp thứ 11, Quốc hội khóa XIII, được Quốc hội phê chuẩn, Chủ tịch nước bổ nhiệm giữ chức Bộ trưởng Bộ Quốc phòng.

Ngày 28/7/2016: Tại kỳ họp thứ nhất, Quốc hội khóa XIV, được Quốc hội phê chuẩn, Chủ tịch nước bổ nhiệm giữ chức Bộ trưởng Bộ Quốc phòng.